O aplicativo Tianyancha mostra que a Tencent Technology (Shenzhen) Co., Ltd. solicitou recentemente uma patente chamada "Método de treinamento de modelo de linguagem grande, dispositivo, equipamento de computador e mídia de armazenamento". O resumo desta patente revela que o método introduz um primeiro texto de resumo e um segundo texto de resumo, fornecendo ao modelo mais informações para aprendizagem durante o processo de treinamento do modelo de linguagem grande. De acordo com a descrição da patente, a quantidade de informações contidas no primeiro texto de resumo e no segundo texto de resumo é diferente, sendo que o primeiro texto de resumo também contém frases corretas e frases incorretas. Através dessas duas descrições do mesmo texto,

Pesquisadores das universidades de Stanford e Washington lançaram recentemente um método inovador de treinamento de IA chamado S1. O conceito central é o uso de uma técnica de dimensionamento em tempo de teste extremamente simples para melhorar significativamente a capacidade de raciocínio de modelos de linguagem. Ao contrário dos métodos anteriores que dependiam de grande poder computacional ou algoritmos complexos, o S1 utiliza uma alocação inteligente de recursos computacionais durante o teste, resultando em um aumento significativo de desempenho. O método S1 começa criando um pequeno conjunto de dados chamado s1K, contendo 1000 problemas de raciocínio de alta qualidade. A seleção dos dados...

Sempre sonhamos com robôs tão inteligentes quanto os humanos, capazes de nos ajudar com as tarefas domésticas, conversar conosco e até mesmo serem oniscientes como o Jarvis do Homem de Ferro. No entanto, a realidade é bem diferente da idealização. Ensinar robôs a executar tarefas não é algo simples, é tão difícil quanto ensinar uma namorada a ser lógica, requer muito esforço e nem sempre se obtém resultados. Por que isso acontece? Porque o mundo real é muito complexo, cheio de imprevistos e mudanças. Pense bem, até mesmo ensinar um conceito simples a uma namorada exige paciência e esforço, quanto mais ensinar algo a um ser sem raciocínio humano.

Uma equipe da Universidade de Pequim e da Universidade de Ciência e Tecnologia de Hong Kong fez uma grande descoberta: eles propuseram um método de treinamento que elevou o desempenho de um modelo de especialista médico de 8B para o nível do GPT-4. E não parou por aí; eles introduziram um novo conceito - a "lacuna de estabilidade" - para explicar alguns fenômenos observados em grandes modelos de linguagem durante o pré-treinamento contínuo.

Uma equipe de pesquisa apresentou um novo método de treinamento para melhorar a capacidade de geração de imagens do DALL-E3. O método combina títulos sintéticos e títulos reais, resolvendo problemas de percepção espacial e representação de texto. Modelos de linguagem avançados, como o GPT-4, desempenham um papel crucial na melhoria da qualidade e profundidade do texto. O estudo demonstra melhorias significativas na qualidade e precisão da geração de imagens do DALL-E3. Essa estratégia estabelece uma base para o desenvolvimento contínuo de tecnologias futuras de geração de imagens a partir de texto.